许多前馈神经网络会产生连续和分段线性(CPWL)映射。具体而言,它们将输入域分配给映射为仿射函数的区域。这些所谓的线性区域的数量提供了自然度量标准,可以表征CPWL映射的表现力。尽管该数量的精确确定通常是无法触及的,但已经针对包括众所周知的Relu和Maxout网络提出了界限。在这项工作中,我们提出了一个更一般的观点,并基于三种表达能力来源:深度,宽度和激活复杂性,就CPWL网络的最大线性区域数量提供精确的界限。我们的估计依赖于凸形分区的组合结构,并突出了深度的独特作用,该作用本身能够呈指数级增加区域数量。然后,我们引入了一个互补的随机框架,以估计CPWL网络体系结构产生的线性区域的平均数量。在合理的假设下,沿任何一维路径的线性区域的预期密度都受深度,宽度和激活复杂度度量(最高缩放系数)的量的限制。这对三种表达能力产生了相同的作用:不再观察到深度的指数增长。
translated by 谷歌翻译